Trước đây, Sơn Vĩ là một xã thuộc huyện Đồng Văn.

Ngày 5 tháng 7 năm 1961, Hội đồng Chính phủ ban hành Quyết định số 91-CP[1] về việc chia xã Sơn Vỹ thuộc huyện Đồng Văn thành ba xã Thượng Phùng, Xín Cái, Sơn Vĩ.

Ngày 15 tháng 12 năm 1962, Hội đồng Chính phủ ban hành Quyết định số 211-CP[4] về việc thành lập huyện Mèo Vạc trên cơ sở tách xã Sơn Vĩ thuộc huyện Đồng Văn.